Kegagalan Kepatuhan terhadap Ketepatan
Meskipun polinomial derajat tinggi dapat menyentuh setiap titik data, sering kali menghasilkan osilasi jenis "Runge". Getaran liar ini tidak memiliki kesamaan dengan proses fisika dasar. Maka sangat tidak masuk akal untuk mensyaratkan fungsi aproksimasi harus sesuai persis dengan data, terutama ketika pengukuran dipengaruhi variasi.
Menentukan 'Kesesuaian Terbaik': Tiga Norma
Untuk melakukan aproksimasi, kita harus mendefinisikan fungsi kesalahan $E$. Bagaimana kita mengukur "keakraban" akan mengubah hasil secara total:
Berusaha meminimalkan kesalahan maksimum yang mungkin terjadi:
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
Kesalahan Umum: Pendekatan minimax umumnya memberi bobot berlebihan pada sebagian data yang sangat keliru.
Jumlah selisih absolut:
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
Kesalahan Umum: Fungsi nilai absolut tidak dapat dibedakan di nol, dan kita mungkin tidak bisa menemukan solusi dari pasangan persamaan ini secara analitis.
Standar dalam analisis numerik, kuadratkan residual:
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
Ini menciptakan permukaan halus dan dapat dibedakan sehingga kalkulus dapat dengan mudah menemukan minimum global.
Keterbatasan Analitik
Memilih metrik adalah keseimbangan antara logika dan kalkulus. Sebagai contoh, metode deviasi absolut tidak memberi bobot cukup besar pada titik yang jauh dari aproksimasi, sementara $L_2$ memberikan keseimbangan yang kuat yang memberi hukuman besar pada outlier tanpa sepenuhnya dikendalikan oleh satu titik data yang aneh.